学习提醒|如何训练RNN？解决梯度消失与梯度爆炸问题！

点击左上方蓝字关注我们

今天就要进入RNN的终章&＃xff0c;每日一问&＃xff1a;它们如何运行&＃xff1f;应用在哪里&＃xff1f;你学完了吗&＃xff1f;????

顾名思义&＃xff0c;循环即经常或重复出现&＃xff0c;RNN就是对一组序列输入重复进行同样的操作。它可以应用在语言建模和文本生成、机器翻译、语音识别、生成图像描述、视频标记等领域&＃xff0c;是最常用的神经网络之一。

那么&＃xff0c;如何训练RNN呢&＃xff1f;这节课上&＃xff0c;李宏毅老师就会带你上手&＃xff0c;了解反向传播、梯度消失与梯度爆炸。

通过学习&＃xff0c;你将学会用clipping可以缓解梯度消失与梯度爆炸&＃xff1b;LSTM可以用来解决梯度消失问题。

温馨提示&＃xff1a;在简单RNN中随机初始化参数时使用sigmoid激活函数会比使用ReLU效果更好一些&＃xff0c;但是使用单位矩阵初始化参数时ReLU激活函数会比sigmoid激活函数效果要好。

今日学习任务

学习

进行时

第12课-循环神经网络&＃xff08;三&＃xff09;

课程指路&＃xff1a;

报名地址

还没有报名的同学&＃xff0c;点击文末『阅读原文』或者扫码报名&＃xff0c;跟上学习进度&＃xff1a;

https://aistudio.baidu.com/aistudio/education/group/info/1978

???? 扫码进入学习中心????

进入QQ学习社群&＃xff0c;开启机器学习之旅

跟着李宏毅老师学习&＃xff0c;进击机器学习算法工程师&＃xff5e;

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础&＃xff0c;是中国首个开源开放、技术领先、功能完备的产业级深度学习平台&＃xff0c;包括飞桨开源平台和飞桨企业版。飞桨开源平台包含核心框架、基础模型库、端到端开发套件与工具组件&＃xff0c;持续开源核心能力&＃xff0c;为产业、学术、科研创新提供基础底座。飞桨企业版基于飞桨开源平台&＃xff0c;针对企业级需求增强了相应特性&＃xff0c;包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业&＃xff0c;提供零门槛、预置丰富网络和模型、便捷高效的开发平台&＃xff1b;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END